Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.
translated by 谷歌翻译
面向目标的意见单词提取（TOWE）是一项精细的情感分析任务，旨在从句子中提取给定意见目标的相应意见单词。最近，深度学习方法在这项任务上取得了显着进步。然而，由于昂贵的数据注释过程，TOWE任务仍然遭受培训数据的稀缺性。有限的标记数据增加了测试数据和培训数据之间分配变化的风险。在本文中，我们建议利用大量未标记的数据来通过增加模型对变化分布变化的暴露来降低风险。具体而言，我们提出了一种新型的多透明一致性正则化（MGCR）方法，以利用未标记的数据并设计两个专门用于TOWE的过滤器，以在不同的粒度上过滤嘈杂的数据。四个TOWE基准数据集的广泛实验结果表明，与当前的最新方法相比，MGCR的优越性。深入分析还证明了不同粒度过滤器的有效性。我们的代码可在https://github.com/towessl/towessl上找到。
translated by 谷歌翻译
在本文中，我们提出了与IEEE计算机协会在CVPR 2022上同时与IEEE计算机协会研讨会同时举行的多手术检测挑战。我们的多手术检测挑战旨在检测自动图像操作，包括但不限于图像编辑，图像合成，图像合成，图像，图像，图像，图像合成，图像，图像编辑一代，图像Photoshop等。我们的挑战吸引了来自世界各地的674支团队，约有2000个有效的结果提交数量。我们邀请了前十支球队为挑战提供解决方案，其中三支球队在大结局中获得了奖项。在本文中，我们介绍了前三名团队的解决方案，以增强图像伪造检测领域的研究工作。
translated by 谷歌翻译
从视频中获得地面真相标签很具有挑战性，因为在像素流标签的手动注释非常昂贵且费力。此外，现有的方法试图将合成数据集的训练模型调整到真实的视频中，该视频不可避免地遭受了域差异并阻碍了现实世界应用程序的性能。为了解决这些问题，我们提出了RealFlow，这是一个基于期望最大化的框架，可以直接从任何未标记的现实视频中创建大规模的光流数据集。具体而言，我们首先估计一对视频帧之间的光流，然后根据预测流从该对中合成新图像。因此，新图像对及其相应的流可以被视为新的训练集。此外，我们设计了一种逼真的图像对渲染（RIPR）模块，该模块采用软磁性裂口和双向孔填充技术来减轻图像合成的伪像。在E-Step中，RIPR呈现新图像以创建大量培训数据。在M-Step中，我们利用生成的训练数据来训练光流网络，该数据可用于估计下一个E步骤中的光流。在迭代学习步骤中，流网络的能力逐渐提高，流量的准确性以及合成数据集的质量也是如此。实验结果表明，REALFLOW的表现优于先前的数据集生成方法。此外，基于生成的数据集，我们的方法与受监督和无监督的光流方法相比，在两个标准基准测试方面达到了最先进的性能。我们的代码和数据集可从https://github.com/megvii-research/realflow获得
translated by 谷歌翻译
从消息传递机制中受益，图形神经网络（GNN）在图形数据上的繁荣任务上已经成功。但是，最近的研究表明，攻击者可以通过恶意修改图形结构来灾难性地降低GNN的性能。解决此问题的直接解决方案是通过在两个末端节点的成对表示之间学习度量函数来建模边缘权重，该指标函数试图将低权重分配给对抗边缘。现有方法使用监督GNN学到的原始功能或表示形式来对边缘重量进行建模。但是，两种策略都面临着一些直接问题：原始特征不能代表节点的各种特性（例如结构信息），而受监督的GNN学到的表示可能会遭受分类器在中毒图上的差异性能。我们需要携带特征信息和尽可能糊状的结构信息并且对结构扰动不敏感的表示形式。为此，我们提出了一条名为stable的无监督管道，以优化图形结构。最后，我们将精心设计的图输入到下游分类器中。对于这一部分，我们设计了一个高级GCN，可显着增强香草GCN的鲁棒性，而不会增加时间复杂性。在四个现实世界图基准上进行的广泛实验表明，稳定的表现优于最先进的方法，并成功防御各种攻击。
translated by 谷歌翻译
设计私人投票规则是值得信赖的民主的重要问题。在本文中，根据差异隐私的框架，我们根据知名的Condorcet方法提出了三类随机投票规则：Laplacian Condorcet方法（$ cm^{lap} _ \ lambda $），指数condorcet方法（$ cmcmential condorcet方法^{exp} _ \ lambda $）和随机响应condorcet方法（$ cm^{rr} _ \ lambda $），其中$ \ lambda $代表噪声级别。通过准确估计随机性引入的错误，我们表明$ cm^{exp} _ \ lambda $是大多数情况下最准确的机制。我们证明，我们的所有规则都满足绝对单调性，Lexi参与，概率帕累托效率，近似概率孔孔标准和近似SD-StrategyProofness。此外，$ cm^{rr} _ \ lambda $满足（非适当的）概率condorcet标准，而$ cm^{lap} _ \ lambda $和$ cm^{exp} _ \ \ lambda _ 。最后，我们将差异隐私视为投票公理，并讨论其与其他公理的关系。
translated by 谷歌翻译
本文介绍了我们针对IWSLT 2022离线任务的端到端Yitrans语音翻译系统的提交，该任务从英语音频转换为德语，中文和日语。 Yitrans系统建立在大规模训练的编码器模型上。更具体地说，我们首先设计了多阶段的预训练策略，以建立具有大量标记和未标记数据的多模式模型。然后，我们为下游语音翻译任务微调模型的相应组件。此外，我们做出了各种努力，以提高性能，例如数据过滤，数据增强，语音细分，模型集合等。实验结果表明，我们的Yitrans系统比在三个翻译方向上的强基线取得了显着改进，并且比去年在TST2021英语 - 德国人中的最佳端到端系统方面的改进+5.2 BLEU改进。根据自动评估指标，我们的最终意见在英语 - 德国和英语端到端系统上排名第一。我们使代码和模型公开可用。
translated by 谷歌翻译
紧张的卷积神经网络（TCNN）吸引了他们在减少模型参数或增强概括能力方面的力量方面引起了很多研究的关注。然而，即使体重初始化方法，TCNN的探索也受到阻碍。要具体，一般的初始化方法，例如Xavier或Kaiming初始化，通常无法为TCNN产生适当的权重。同时，尽管针对特定架构（例如张量环网）采用了临时方法，但它们不适用于具有其他张量分解方法（例如CP或Tucker分解）的TCNN。为了解决这个问题，我们提出了一个普遍的权重初始化范式，该范式概括了Xavier和Kaiming方法，并且可以广泛适用于任意TCNN。具体而言，我们首先介绍重现转换，以将TCNN中的向后过程转换为等效卷积过程。然后，基于向前和后退过程中的卷积运算符，我们构建了一个统一的范式，以控制TCNN中特征和梯度的方差。因此，我们可以为各种TCNN得出粉丝和风扇的初始化。我们证明我们的范式可以稳定TCNN的训练，从而导致更快的收敛性和更好的结果。
translated by 谷歌翻译
本文研究了一种新型的预训练技术，该技术具有未配对的语音数据Segend2C，用于基于编码器的自动语音识别（ASR）。在一个多任务学习框架内，我们使用声音单元（即伪代码）介绍了编码器 - 编码器网络的两个预训练任务，这些任务来自离线聚类模型。一种是通过在编码器输出中通过掩盖语言建模来预测伪代码，例如Hubert模型，而另一个使解码器学会学会重建伪代码自动加工，而不是生成文本脚本。通过这种方式，解码器学会了在学习生成正确的文本之前先用代码重建原始语音信息。在Librispeech语料库上进行的综合实验表明，在没有解码器预训练的情况下，提出的Speek2C可以相对将单词错误率（WER）降低19.2％，并且在最先进的WAV2VEC 2.0和HUBERT上的表现显着优于微调子集为10h和100h。我们在https://github.com/microsoft/speecht5/tree/main/main/speech2c上发布代码和模型。
translated by 谷歌翻译
场景图生成（SGG）旨在在图像中提取（主题，谓词，对象）三重态。最近的作品在SGG上取得了稳步的进步，并为高级视野和语言理解提供了有用的工具。但是，由于数据分布问题包括长尾分布和语义歧义，当前SGG模型的预测往往会崩溃到几个频繁但不信息的谓词（例如，on，at），这限制了这些模型在下游任务中的实际应用。为了解决上述问题，我们提出了一种新颖的内部和外部数据传输（IETRAN）方法，该方法可以以插件方式应用，并以1,807个谓词类别扩展到大SGG。我们的Ietrans试图通过自动创建一个增强的数据集来缓解数据分布问题，该数据集为所有谓词提供更充分和连贯的注释。通过在增强数据集中进行培训，神经主题模型在保持竞争性微观性能的同时使宏观性能翻了一番。代码和数据可在https://github.com/waxnkw/ietrans-sgg.pytorch上公开获得。
translated by 谷歌翻译